Năm 2 tuổi, Lâm Phong được cha mẹ đưa đến Hồng kông, nhưng trường tiểu học Lâm Phong theo học sử dụng tiếng Quan thoại để giảng dạy, vì thế từ nhỏ anh đã thông thạo cả tiếng Phổ Thông và tiếng Quảng Đông. Đến trung học, do bận tâm về sức khoẻ của ông nội mình, anh lại chuyển về Hạ Môn học để ở cùng ông, lúc đó anh theo học trường nam sinh tại đây.

Đến năm 12 tuổi, anh đã đến Thượng Hải theo hai nhà âm nhạc trữ danh Chu Phùng Bác và Thi Hồng Ngạc để học hát và các loại nhạc cụ, đồng thời anh cũng là học trò hàng đầu của nhà sản xuất âm nhạc Đới Tư Thông.